现代深度学习模型通常在分布式机器集合中并行培训，以减少训练时间。在这种情况下，机器之间模型更新的通信变成了一个重要的性能瓶颈，并且已经提出了各种有损的压缩技术来减轻此问题。在这项工作中，我们介绍了一种新的，简单但理论上和实践上有效的压缩技术：自然压缩（NC）。我们的技术分别应用于要进行压缩的更新向量的所有条目，并通过随机舍入到两个的（负或正）两种功能，可以通过忽略Mantissa来以“自然”方式计算。我们表明，与没有压缩相比，NC将压缩向量的第二刻增加不超过微小因子$ \ frac {9} {8} $，这意味着NC对流行训练算法的收敛速度的影响，例如分布式SGD，可以忽略不计。但是，NC启用的通信节省是可观的，导致$ 3 $ - $ 4 \ times $ $改善整体理论运行时间。对于需要更具侵略性压缩的应用，我们将NC推广到自然抖动，我们证明这比常见的随机抖动技术要好得多。我们的压缩操作员可以自行使用，也可以与现有操作员结合使用，从而产生更具侵略性的结合效果，并在理论和实践中提供新的最先进。

Granger因果关系（GC）检验是一种著名的统计假设检验，用于研究一个时期的过去是否影响了另一个时间的未来。它有助于回答一个问题序列是否有助于预测。 Granger因果关系检测的标准传统方法通常假设线性动力学，但是这种简化在许多现实世界应用中不存在，例如，神经科学或基因组学本质上是非线性的。在这种情况下，施加线性模型，例如向量自回旋（VAR）模型可能会导致对真正的Granger因果相互作用的不一致估计。机器学习（ML）可以学习数据集中的隐藏模式（DL）在学习复杂系统的非线性动力学方面表现出巨大的希望。 Tank等人的最新工作建议通过使用神经网络结合对可学习的权重的稀疏性惩罚来克服VAR模型中线性简化的问题。在这项工作中，我们基于Tank等人引入的想法。我们提出了几类新的模型，这些模型可以处理潜在的非线性。首先，我们介绍了学识渊博的内核var（lekvar）模型 - var模型的扩展，这些模型也学习了通过神经网络参数的内核。其次，我们表明可以通过脱钩的惩罚直接将滞后和单个时间序列的重要性分解。这种去耦提供了更好的缩放，并使我们可以将滞后选择嵌入RNN中。最后，我们提出了一种支持迷你批次的新培训算法，并且它与常用的自适应优化器（例如Adam）兼容。癫痫患者的电脑电图（EEG）数据研究了在19个EEG通道之前，期间和之后的GC演变。

在这项研究中，我们提出了使用深度学习方法进行多模式模因分类的特征提取。模因通常是一张照片或视频，其中年轻一代在社交媒体平台上共享文本，表达了与文化相关的想法。由于它们是表达情感和感受的有效方法，因此可以对模因背后的情绪进行分类的好分类器很重要。为了使学习过程更有效，请减少过度拟合的可能性，并提高模型的普遍性，需要一种良好的方法来从所有模式中提取共同特征。在这项工作中，我们建议使用不同的多模式神经网络方法进行多模式特征提取，并使用提取的功能来训练分类器以识别模因中的情感。

在这项工作中，我们提出了用于商业产品分类的多模式模型，该模型结合了使用简单的融合技术从Textual（Camembert和Flaubert）和视觉数据（SE-Resnext-50）中提取的功能。所提出的方法显着优于单峰模型的性能以及在我们的特定任务上报告的类似模型的报告。我们进行了多种融合技术的实验，并发现，结合单峰网络的单个嵌入的最佳性能技术是基于结合串联和平均特征向量的方法。每种模式都补充了其他方式的缺点，表明增加模态的数量可能是改善多标签和多模式分类问题的有效方法。

由于在线学习和评估平台（例如Coursera，Udemy，Khan Academy等）的兴起，对论文（AES）和自动论文评分的自动评估（AES）已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是，其中许多技术都使用手工制作的功能，因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式，可以利用大量数据并确定对论文评估有用的功能。为此，我们提出了一种基于复发网络（RNN）和卷积神经网络（CNN）的新型体系结构。在拟议的体系结构中，多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征，并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元（BGRU），用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的，以实现AES的任务。实验结果表明，我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。

人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级，我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题，特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征，范围从1到6星，用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据，我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要，但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂，可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。

事实证明，深度卷积神经网络在语义分割任务中非常有效。引入了最流行的损失功能，以提高体积分数，例如Sorensen骰子系数。根据设计，DSC可以解决类不平衡；但是，它不能识别类中的实例不平衡。结果，大型前景实例可以主导次要实例，并且仍然产生令人满意的Sorensen骰子系数。然而，错过实例将导致检测性能不佳。这代表了诸如疾病进展监测等应用中的一个关键问题。例如，必须在多发性硬化症患者的随访中定位和监视小规模病变。我们提出了一个新型的损失功能家族，绰号斑点损失，主要旨在最大化实例级检测指标，例如F1得分和灵敏度。 BLOB损失是针对语义分割问题而设计的，其中实例是类中连接的组件。我们在五个复杂的3D语义分割任务中广泛评估了基于DSC的斑点损失，这些任务具有明显的实例异质性，从纹理和形态上讲。与软骰子损失相比，我们的MS病变改善了5％，肝肿瘤改善了3％，考虑F1分数的显微镜细分任务平均提高了2％。

The goal of graph summarization is to represent large graphs in a structured and compact way. A graph summary based on equivalence classes preserves pre-defined features of a graph's vertex within a $k$-hop neighborhood such as the vertex labels and edge labels. Based on these neighborhood characteristics, the vertex is assigned to an equivalence class. The calculation of the assigned equivalence class must be a permutation invariant operation on the pre-defined features. This is achieved by sorting on the feature values, e. g., the edge labels, which is computationally expensive, and subsequently hashing the result. Graph Neural Networks (GNN) fulfill the permutation invariance requirement. We formulate the problem of graph summarization as a subgraph classification task on the root vertex of the $k$-hop neighborhood. We adapt different GNN architectures, both based on the popular message-passing protocol and alternative approaches, to perform the structural graph summarization task. We compare different GNNs with a standard multi-layer perceptron (MLP) and Bloom filter as non-neural method. For our experiments, we consider four popular graph summary models on a large web graph. This resembles challenging multi-class vertex classification tasks with the numbers of classes ranging from $576$ to multiple hundreds of thousands. Our results show that the performance of GNNs are close to each other. In three out of four experiments, the non-message-passing GraphMLP model outperforms the other GNNs. The performance of the standard MLP is extraordinary good, especially in the presence of many classes. Finally, the Bloom filter outperforms all neural architectures by a large margin, except for the dataset with the fewest number of $576$ classes.

卷积网络被视为换档不变，但据证明它们的响应可能根据对象的确切位置而变化。在本文中，我们将展示大多数常见的数据集具有偏差，其中物体在训练期间在图像的中心被覆盖。这些网络的偏差和边界条件可以对这些架构的性能产生显着影响，并且当物体接近边界时，它们的精度显着下降。我们还将演示如何通过数据增强技术减轻这种效果。

我们使用改进的最小路径Eikonal方程向3D图像引入一种新的对象分割方法。该方法利用隐式约束 - 对eikonal的非均匀最小路径的二阶校正 - 防止相邻的最小路径轨迹无法控制地分歧。所提出的修改大大减少了通过最小路径揭示的表面积，允许使用计算的最小路径设置为近似表面的参数线。它还具有与也推导出真正的最小表面eikonal方程的松散连接。